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Предложена двухпороговая равновесная модель нейрона для использования в многослойной нейронной сети прямого распро- 
странения. Описан условно-рефлекторный механизм ее обучения. 


Введение 

При разработке и исследовании различных ин- 
теллектуальных устройств и систем зачастую не 
уделяется достаточного внимания механизмам 
управления и обучения в живой природе, важней- 
шими элементами которых являются рефлексы. 
Поскольку нервные системы подавляющего боль- 
шинства живых организмов представляют собой 
сложно организованные нейронные сети, то моде- 
лирование и исследование условно-рефлекторного 
механизма обучения на основе нейронных сетей 
является весьма актуальным. Большое значение 
здесь имеют принципы построения не только мо- 
дели нейронной сети, но и модели нейронов, обра- 
зующих нейронную сеть. 

1. Модель нейрона 

Как известно, искусственный нейрон имитиру- 
ет свойства биологических нейронов [1,2], являю- 
щихся строительными элементами мозга. Боль- 
шинство существующих на сегодняшний день кон- 
цепций построения искусственных нейронных се- 
тей используют модель искусственного нейрона 
[3], обучение которой основано на изменении ве- 
совых коэффициентов иу [4, 5]. 

Модифицируем классическую модель нейрона 
следующим образом. Предположим, что все связи 
имеют единичные веса, и суммарное входное воз- 
буждение определяется как алгебраическая сумма 
значений соответствующих входных сигналов. 
Введем также порог торможения нейрона Р,. Ли- 
нейная активизационная функция для равновес- 
ной двухпороговой модели нейрона представлена 
на рис. 1. 


Величины порогов возбуждения Р [ и торможе- 
ния Р, будут определять диапазон значений алге- 
браической суммы входных сигналов - диапазон 
активизации, при котором на выходе нейрона фор- 
мируется уровень возбуждения, отличный от нуля. 

Использование единичных связей, а также по- 
рогов возбуждения Р ѵ и торможения Р : в качестве 
параметров, корректируемых в процессе обучения 
многослойной нейронной сети прямого распро- 
странения (МНСПР), позволяет уйти от необходи- 
мости настройки каждого весового коэффициента 
в отдельности, упростить алгоритм обучения. 



Рис. 1 . Линейная активизационная функция для равновес- 
ной двухпороговой модели нейрона; Р„ - порог воз- 
буждения нейрона, Р, - порог торможения нейрона, 
Ѵ'тіл “ минимальное выходное возбуждение У 

Модифицированная модель нейрона описыва- 
ется выражением: 

К&Х,-Р)+Ѵ т » при Х-Ѵ г !/';/’): 

7=1 

при ^Х і е[Р ѵ ;Р,).(1) 

7=1 
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2. Модель нейронной сети 

Важной задачей, решаемой при построении 
МНСПР, в которых нейроны каждого слоя не свя- 
заны между собой, является формирование струк- 
туры связей нейронов между соседними слоями. 
Выходной сигнал с каждого нейрона предыдущего 
слоя поступает, как правило, на входы всех нейро- 
нов следующего слоя. Обратные связи между ней- 
ронными слоями отсутствуют [6, 7]. 

Рассмотрим МНСПР, в которой нейроны пред- 
ыдущего слоя связаны не со всеми нейронами сле- 
дующего слоя, а только с теми, которые располо- 
жены в пределах радиуса возбуждения соответ- 
ствующего нейрона. Будем считать радиусом воз- 
буждения Я данного нейрона количество боковых 
связей, расположенных слева или справа от цен- 
тральной связи, а сами связи - локальными. По- 
ясним сказанное с помощью рис. 2. 

В общем случае, независимо от радиуса возбуж- 
дения, количество боковых связей может быть ме- 
ньше К, а центральная связь - отсутствовать. По- 
скольку в рассматриваемой нейронной сети воз- 
буждение распространяется по слоям нейронов от 
предыдущего к последующему слою, то передача 
возбуждения между соседними слоями может быть 
описана выражением (2), следующим из (1). 


5 = у + К 

5= 

з- у+Д 

при X е [ р ѵм..,;^ +І ,.,); 

8=І -К 

0 ( 2 ) 

5=]+К 

при X х и еІК і+ і/’ Р ,мЛ 

'І-І-Н 

где і - номер нейронного слоя, у - номер нейрона в 
слое, 5 - номер нейрона в предыдущем слое /, связан- 
ного с у'-ым нейроном последующего Ж -ого слоя, 
Ъу - возбуждение нейрона последующего слоя Ж, 
- возбуждение нейрона предыдущего слоя /, свя- 
занного с у'-ым нейроном последующего Ж -ого слоя. 

На рис. 3 приведены примеры фрагментов кар- 
тин возбуждения МНСПР, рассчитанные в соот- 
ветствии с (2) для вариантов задания структуры ло- 
кальных связей. Возбужденные нейроны более 
светлые, невозбужденные более темные. 

3. Условно-рефлекторный механизм 
обучения нейронной сети 

Рассмотрим условно-рефлекторный механизм 
обучения [8] сети, в которой используется двухпо- 




Рис. 2. Структура локальных связей МНСПР: а) симметричные связи, 6) левая асимметрия, в) правая асимметрия 



Рис. 3. Фрагменты картин возбуждения МНСПР для вариантов задания локальных связей: а) правая асимметрия, б) симме- 
тричные связи, в) левая асимметрия 
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Условный сигнал Р\ 


Безусловный сигнал ЛЗ 



Блок 1 Блок 2 

Рис. 4. Функциональное разделение нейронной сети 


Блок 3 


роговая равновесная модель нейрона. Положим, 
что в нашем случае активизационная функция и 
количество связей одинаковы для всех нейронов, 
поэтому МНСПР будем считать однородной. 

Реализация условно-рефлекторного механизма 
обучения МНСПР возможно с использованием ва- 
рианта, предполагающего разделение этой сети на 
функциональные блоки (рис. 4). 

Назовем функциональным блоком ограничен- 
ную область нейронной сети, характеризующуюся 
определенным сценарием обучения соответствую- 
щих нейронов, а также определенными начальны- 
ми значениями порогов возбуждения Р „ и торможе- 
ния Р,. Таким образом, в простейшем случае, рас- 
сматриваемая МНСПР должна быть разделена на 
три блока, выполняющих определенные функции. 

Простейший вариант условно-рефлекторного 
обучения возможно реализовать с использованием 
двух обучающих сигналов (условный Л и безуслов- 
ный /3), подаваемых на разных участках верхнего 
слоя МНСПР. 

Блок 1 предназначен для распространения услов- 
ного сигнала Л. Блок 2 (промежуточный или защит- 
ный) используется как область пространствено-вре- 
менного взаимодействия возбуждений от условного 
Л и безусловного Гі сигналов. В этом блоке проис- 
ходит образование условно-рефлекторного «нервно- 
го пути» из Блока 1 в Блок 3 (выходной) в процессе 


обучения. Формирование этого «нервного пути» яв- 
ляется основным критерием обучения нейронной се- 
ти. Возбуждение, распространяющееся в Блоке 3, яв- 
ляется аналогом «нервного тока», запускающего ка- 
кую-либо безусловно-рефлекторную реакцию. 

Положим, что для распространения условного 
возбуждения от сигнала Л потенциально открыто 
все имеющееся пространство МНСПР. В то время 
как безусловное возбуждение П не влияет на пара- 
метры нейронов Блока 1 . Оно лишь «подготавливает 
почву» для преодоления условным возбуждением из- 
начально более высоких порогов нейронов Блока 2. 


Сочетание т Сочетание т + 1 



і2 в О. в 


Рис. 5. Временные диаграммы следования обучающих сиг- 
налов; длительность сигналов и пауз между ними: Г Р1 
- условный сигнал [Ю;і1], Т гз ~ безусловный сигнал 
[12; іЗ], Т„ - пауза между условным и безусловным 
сигналом (11; 12), Т пс ~ пауза между сочетаниями 
условного и безусловного сигналов ( 13; Ю) 

Определим в качестве единичного дискретного вре- 
менного интервала (такта) время прохождения воз- 
буждения через все слои МНСПР от входного слоя к 
выходному. Зададим сигнал РЗ более сильным, чем Л 
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и будем подавать его на п тактов позже Л, т. к. наи- 
лучшими условиями в образовании условного ре- 
флекса является предшествование более слабого 
условного сигнала Л более сильному безусловному 
Л [8]. Временные диаграммы следования обучаю- 
щих сигналов Л и Л приведены на рис. 5. 

Назовем полным циклом обучения МНСПР интер- 
вал времени, содержащий я тактов обучения, включа- 
ющий обучающее сочетание сигналов Л и Л, а также 
паузу Т ш до следующего обучающего сочетания. 

Формирование условного рефлекса будем фикси- 
ровать на некотором такте обучения МНСПР, ког- 


( 1 ) 

Г ' А '“ N 

РЛ Р, 1 



Ру 2 Л-3 Р, 2 


да после неоднократного временного сочетания 
условного Л и безусловного Л сигналов, возбуж- 
дение от условного сигнала из Блока 1 через Блок 2 
проходит в Блок 3, вызывая возбуждение нейронов 
выходного слоя Блока 3 (формируется соответ- 
ствующий «нервный путь»). Достижение этого ре- 
зультата будет зависеть от подбора начальных зна- 
чений параметров МНСПР. 

Затруднительно точно определить диапазоны 
значений порогов нейронов функциональных бло- 
ков, при которых возможно формирование услов- 
ного рефлекса. Схематично одно из возможных 


Р 


Р, 3 


( 2 ) 


( 3 ) 


Рис. 6. Ориентировочные соотношения значений порогов возбуждения Р ѵ0 и торможения Р і0 нейронов Блока 1 (1), Блока 2 (2) 
и Блока 3 (3); значения порогов даны в относительных единицах 



Рис. 7 . Блок-схема алгоритма обучения МНСПР 
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ориентировочных соотношений их значений при- 
ведено на рис. 6. 

Определим значения порогов нейронов Блока 3 
фиксированными, а Блока 1 и Блока 2 - варьируе- 
мыми, т. е. изменяющимися в процессе обучения. 

Установим следующий критерий изменения по- 
рогов нейронов Блока 1 и Блока 2. На каждом дис- 
кретном такте в процессе обучения нейронной се- 
ти пороги возбуждения Р ѵ и торможения Р, должны 
быть изменены в том случае, если соответствую- 
щие нейроны находились в возбужденном состоя- 
нии (У и > 0). Величину изменения значений порогов 
возбуждения и торможения нейронов на каждом 
такте назовем шагом к их изменения. 

В рассматриваемой МНСПР реализована функ- 
ция кратковременной памяти. Для этого введен 
счетчик идущих подряд невозбужденных состоя- 
ний нейронов Р тЫ . 

Положим, что на протяжении определенного 
числа идущих подряд тактов обучения нейронной 
сети какие-либо нейроны находились в невозбуж- 
денном состоянии. При этом изменения порогов 
соответствующих нейронов, произошедшие при 
обучении, забываются, т. е. пороги принимают 
первоначальные значения. Условие забывания 
нейронами изменений своих порогов, накоплен- 
ных в процессе обучения, будет иметь вид: 
р >р 

1 ті,] кп ’ 

где Р ш - порог кратковременной памяти. 

Блок-схема алгоритма одного такта обучения 
МНСПР приведена на рис. 7. 

При обучении формируется временная ассоци- 
ативная связь между условным Л и безусловным 
П сигналом (условно-рефлекторный «канал» из 
Блока 1 в Блок 3) в результате пересечения диапа- 
зонов активации соответствующих нейронов 
функциональных блоков. Обученная нейронная 
сеть будет реагировать на сигнал Л возбуждением 
нейронов Блока 3. Значения сигналов Л и П опре- 
деляются как константы целого типа на выходах 
конечного числа нейронов первого слоя. 

Данный алгоритм обучения может быть приме- 
нен для распознавания повторяющейся символь- 
ной комбинации, заданной как условный сигнал 
Л, связанный во времени с основным (безуслов- 
ным) сигналом РЗ. Различные символьные комби- 
нации могут быть заданы на различных участках 
первого слоя нейронной сети. При этом в процессе 
обучения нейронной сети определяется количество 
сочетаний Л и Л, требуемое для распознавания ас- 
социации Л и Л. Необходимое количество сочета- 
ний возможно получить путем перебора начальных 
значений варьируемых параметров - порогов ней- 
ронов Блока 2 в некотором выбранном диапазоне. 

Рассмотренный алгоритм обучения можно клас- 
сифицировать как алгоритм самообучения без учи- 
теля, не требующий больших вычислительных зат- 
рат. Желаемый выход формируется по жестко опре- 


деленному сценарию изменения порогов нейронов, 
в зависимости от соотношения их начальных значе- 
ний в различных функциональных блоках нейрон- 
ной сети, порога кратковременной памяти и времен- 
ных соотношений обучающих сочетаний Л и Л. 

4. Экспериментальное исследование 
алгоритма обучения 

Моделирование и экспериментальное исследо- 
вание условно-рефлекторного обучения МНСПР, 
использующей двухпороговую равновесную мо- 
дель нейрона, в среде программирования БеІрЫ 
показало, что наилучшим сценарием изменения 
порогов нейронов является увеличение диапазона 
их активации при уменьшении порогов возбужде- 
ния Р у и увеличении порогов торможения Р г 

Рассмотрим пример распознавания некоторой 
символьной комбинации Л, ассоциированной во 
времени с сигналом Л. Варьируемыми параметра- 
ми при обучении являются пороги возбуждения Р ѵ 
(уменьшаются) и торможения Р, (увеличиваются) 
нейронов Блока 1 и Блока 2. Постоянные параме- 
тры нейронной сети (в том числе параметры рас- 
познаваемой комбинации Л и сигнала Л) приве- 
дены в табл. 1. 


Таблица 1 . Постоянные параметры нейронной сети 


Параметр 

Зна- 

чение 

Количество: 


•нейронных слоев 

220 

•нейронов в слое 

245 

•нейронов в каждом слое Блока 2 

35 

Пороги возбуждения нейронов: 


•Блока 1 (начальные значения) 

4 

•Блока 2 (начальные значения) 

20 

•Блока 3 

20 

Пороги торможения нейронов: 


•Блока 1 (начальные значения) 

15 

•Блока 2 (начальные значения) 

80 

•Блока 3 

200 

Число связей: 


•боковых (левая асимметрия) для нейронов Блока 1 

2 

•прямых (симметрия) для нейронов Блока 2 и Блока 3 

5 

Число возбужденных нейронов первого слоя (символь- 


ная комбинация Л) 

7 

Номер первого возбужденного нейрона в комбинации Л 

88 

Номер последнего возбужденного нейрона в комбинации Л 

94 

Возбуждение нейронов первого слоя (символьная ком- 


бинация Л) 

5 

Число возбужденных нейронов первого слоя (сигнал В) 

6 

Номер первого возбужденного нейрона от сигнала В 

228 

Номер последнего возбужденного нейрона от сигнала В 

234 

Возбуждение нейронов первого слоя (сигнал В) 

25 

Шаг изменения порогов возбуждения и торможения 

1 

Порог кратковременной памяти (количество тактов) 

12 

Длительность: 


•воздействия комбинации Л (количество тактов) 

4 

•воздействия сигнала В (количество тактов) 

7 

•паузы между сигналами Л и В (количество тактов) 

1 

•паузы между сочетаниями Л и В (количество тактов) 

5 

•одного обучающего цикла (количество тактов) 

17 
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В данном примере было проведено девять неза- 
висимых друг от друга обучающих серий для раз- 
личных начальных значений порогов торможения 
Р«а нейронов Блока 2. В результате обучения были 
получены соответствующие значения числа соче- 
таний Л и /3, требующихся для распознавания 
данной ассоциации. Результаты обучения приведе- 
ны в табл. 2. 


Таблица. 2. Результаты обучения нейронной сети 


Число сочетаний 

3 

Б 

6 

8 

9 

14 

26 

47 

75 

Р (02 

80 

75 

70 

65 

60 

55 

50 

45 

40 


Приведенный пример является одним из воз- 
можных применений условно-рефлектоного об- 
учения. Кроме того, при исследовании предста- 
вленного алгоритма, возможно рассмотрение об- 
учающих серий для различных значений порога 
кратковременной памяти - Р ш , а также других па- 
раметров, приведенных в табл. 1. 
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Выводы 
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гослойной нейронной сети прямого распро- 
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